Nežinomybės atskleidimas: gilus nardymas į neprižiūrimo anomalijų aptikimo algoritmus

Šiandieniniame duomenimis prisotintame pasaulyje nustatyti, kas yra normalu, dažnai yra mažesnis iššūkis nei pastebėti, kas nėra. Anomalijos, nuokrypiai ar reti įvykiai gali reikšti svarbias problemas, nuo finansinio sukčiavimo ir kibernetinio saugumo pažeidimų iki įrangos gedimų ir medicinos pagalbos. Nors prižiūrimas mokymasis puikiai veikia, kai yra daug pažymėtų anomalijų pavyzdžių, realybė yra tokia, kad tikrosios anomalijos dažnai yra retos, todėl jas sunku efektyviai surinkti ir pažymėti. Būtent čia įsijungia neprižiūrimas anomalijų aptikimas, siūlantis galingą metodą atskleisti šiuos paslėptus nukrypimus be išankstinių žinių apie tai, kas sudaro anomaliją.

Šiame išsamiame vadove gilinsimės į žavingą neprižiūrimo anomalijų aptikimo algoritmų sritį. Mes išnagrinėsime pagrindines sąvokas, aptarsime įvairius algoritminius metodus, pabrėšime jų stipriąsias ir silpnąsias puses ir pateiksime praktinių pavyzdžių, kaip jie taikomi įvairiose pasaulinėse pramonės šakose. Mūsų tikslas yra suteikti jums žinių, kad galėtumėte pasinaudoti šiais metodais, siekdami geresnio sprendimų priėmimo, didesnio saugumo ir didesnio veiklos efektyvumo pasauliniu mastu.

Kas yra anomalijų aptikimas?

Iš esmės anomalijų aptikimas yra duomenų taškų, įvykių ar stebėjimų, kurie labai nukrypsta nuo numatomo ar normalaus duomenų rinkinio elgesio, nustatymo procesas. Šie nukrypimai dažnai vadinami:

• Nuokrypiais: duomenų taškai, kurie yra toli nuo pagrindinės duomenų sankaupos.
• Anomalijomis: bendresnis neįprastų įvykių terminas.
• Išimtimis: duomenys, kurie neatitinka iš anksto apibrėžtos taisyklės ar modelio.
• Naujovėmis: nauji duomenų taškai, kurie skiriasi nuo anksčiau matytų normalių duomenų.

Anomalijos reikšmė slypi jos potencialu signalizuoti ką nors svarbaus. Apsvarstykite šiuos pasaulinius scenarijus:

• Finansai: neįprastai didelės ar dažnos operacijos gali reikšti sukčiavimo veiklą bankų sistemose visame pasaulyje.
• Kibernetinis saugumas: staigus tinklo srauto padidėjimas iš netikėtos vietos gali signalizuoti apie kibernetinę ataką prieš tarptautinę korporaciją.
• Gamyba: subtilus mašinos vibracijos modelių pokytis gamybos linijoje Vokietijoje gali būti kritinio gedimo priežastis.
• Sveikatos priežiūra: nereguliarūs paciento gyvybiniai požymiai, aptikti dėvimų prietaisų Japonijoje, gali įspėti medicinos specialistus apie gresiančią sveikatos krizę.
• El. komercija: staigus svetainės našumo sumažėjimas arba neįprastas klaidų skaičiaus šuolis pasaulinėje mažmeninės prekybos platformoje gali reikšti technines problemas, turinčias įtakos klientams visur.

Anomalijų aptikimo iššūkis

Aptikti anomalijas iš esmės yra sudėtinga dėl kelių veiksnių:

• Retumas: anomalijos, pagal apibrėžimą, yra retos. Dėl to sunku surinkti pakankamai pavyzdžių prižiūrimam mokymuisi.
• Įvairovė: anomalijos gali pasireikšti daugybe būdų, o tai, kas laikoma anomalija, gali keistis laikui bėgant.
• Triukšmas: norint atskirti tikras anomalijas nuo atsitiktinio triukšmo duomenyse, reikia patikimų metodų.
• Didelis matavimų skaičius: esant didelio matavimų skaičiaus duomenims, tai, kas atrodo normalu vienoje dimensijoje, gali būti nenormalu kitoje, todėl vizualinis patikrinimas tampa neįmanomas.
• Konceptinis dreifas: sąvoka "normalu" gali keistis, todėl modeliai turi prisitaikyti prie kintančių modelių.

Neprižiūrimas anomalijų aptikimas: mokymosi be etikečių galia

Neprižiūrimi anomalijų aptikimo algoritmai veikia remiantis prielaida, kad didžioji dalis duomenų yra normalūs, o anomalijos yra reti duomenų taškai, kurie nukrypsta nuo šios normos. Pagrindinė idėja yra išmokti "normalių" duomenų esamą struktūrą ar pasiskirstymą ir tada nustatyti taškus, kurie neatitinka šio išmokto vaizdavimo. Šis metodas yra nepaprastai vertingas, kai pažymėti anomalijų duomenys yra reti arba jų nėra.

Mes galime plačiai suskirstyti neprižiūrimo anomalijų aptikimo metodus į kelias pagrindines grupes pagal jų pagrindinius principus:

1. Tankumu pagrįsti metodai

Šie metodai daro prielaidą, kad anomalijos yra taškai, esantys mažo tankio duomenų erdvės srityse. Jei duomenų taškas turi nedaug kaimynų arba yra toli nuo bet kurių sankaupų, tikėtina, kad tai anomalija.

a) Vietinis nuokrypio faktorius (LOF)

LOF yra populiarus algoritmas, kuris matuoja vietinį duoto duomenų taško nuokrypį atsižvelgiant į jo kaimynus. Jis atsižvelgia į taškų tankį duomenų taško kaimynystėje. Taškas laikomas nuokrypiu, jei jo vietinis tankis yra žymiai mažesnis nei jo kaimynų. Tai reiškia, kad nors taškas gali būti globaliai tankiame regione, jei jo artimiausia kaimynystė yra reta, jis pažymimas.

• Kaip tai veikia: Kiekvienam duomenų taškui LOF apskaičiuoja "pasiekiamumo atstumą" iki jo k artimiausių kaimynų. Tada jis palygina taško vietinį pasiekiamumo tankį su vidutiniu jo kaimynų vietiniu pasiekiamumo tankiu. LOF rezultatas, didesnis nei 1, rodo, kad taškas yra retesniame regione nei jo kaimynai, o tai rodo, kad tai yra nuokrypis.
• Stipriosios pusės: gali aptikti nuokrypius, kurie nebūtinai yra globaliai reti, bet yra lokaliai reti. Gerai tvarko duomenų rinkinius su skirtingais tankiais.
• Silpnosios pusės: jautrus "k" (kaimynų skaičiui) pasirinkimui. Skaičiuojamai intensyvus dideliems duomenų rinkiniams.
• Pasaulinio taikymo pavyzdys: neįprasto klientų elgesio aptikimas el. prekybos platformoje Pietryčių Azijoje. Klientas, kuris staiga pradeda pirkti visiškai kitokios produktų kategorijos ar regiono nei įprastas modelis, gali būti pažymėtas LOF, o tai gali reikšti paskyros pažeidimą arba naują, neįprastą susidomėjimą.

b) DBSCAN (tankumu pagrįstas erdvinis klasterizavimas su triukšmu)

Nors iš esmės tai yra klasterizavimo algoritmas, DBSCAN taip pat gali būti naudojamas anomalijų aptikimui. Jis sugrupuoja tankiai supakuotus taškus, kuriuos skiria mažo tankio sritys. Taškai, kurie nepriklauso jokiai klasteriui, laikomi triukšmu arba nuokrypiais.

• Kaip tai veikia: DBSCAN apibrėžia du parametrus: "epsilon" (ε), didžiausią atstumą tarp dviejų pavyzdžių, kad vienas būtų laikomas kito kaimynystėje, ir "min_samples", pavyzdžių skaičių kaimynystėje, kad taškas būtų laikomas pagrindiniu tašku. Taškai, kurių neįmanoma pasiekti iš jokio pagrindinio taško, pažymimi kaip triukšmas.
• Stipriosios pusės: gali efektyviai rasti savavališkai suformuotas klasterius ir nustatyti triukšmo taškus. Nereikalauja nurodyti klasterių skaičiaus.
• Silpnosios pusės: jautrus ε ir "min_samples" pasirinkimui. Kovoja su skirtingo tankio duomenų rinkiniais.
• Pasaulinio taikymo pavyzdys: neįprastų tinklo įsibrovimų modelių nustatymas pasauliniame kibernetinio saugumo kontekste. DBSCAN gali sugrupuoti įprastus srauto modelius į klasterius, o bet koks srautas, kuris nepatenka į šiuos tankius klasterius (t. y. laikomas triukšmu), gali reikšti naują atakos vektorių arba botneto veiklą, kylančią iš neįprasto šaltinio.

2. Atstumu pagrįsti metodai

Šie metodai apibrėžia anomalijas kaip duomenų taškus, kurie yra toli nuo bet kurių kitų duomenų taškų duomenų rinkinyje. Pagrindinė prielaida yra ta, kad normalūs duomenų taškai yra arti vienas kito, o anomalijos yra izoliuotos.

a) K artimiausių kaimynų (KNN) atstumas

Paprastas būdas yra apskaičiuoti kiekvieno duomenų taško atstumą iki jo k-tojo artimiausio kaimyno. Taškai, kurių atstumas iki k-tojo kaimyno yra didelis, laikomi nuokrypiais.

• Kaip tai veikia: kiekvienam taškui apskaičiuokite atstumą iki jo k-tojo artimiausio kaimyno. Taškai, kurių atstumas viršija tam tikrą ribą arba patenka į viršutinį procentilį, pažymimi kaip anomalijos.
• Stipriosios pusės: paprasta suprasti ir įgyvendinti.
• Silpnosios pusės: gali būti skaičiuojamai brangus dideliems duomenų rinkiniams. Jautrus "k" pasirinkimui. Gali blogai veikti didelio matavimų skaičiaus erdvėse (matavimų skaičiaus prakeiksmas).
• Pasaulinio taikymo pavyzdys: sukčiavimo kredito kortelių operacijų aptikimas. Jei operacija yra žymiai toliau (kalbant apie išlaidų modelius, vietą, laiką ir t. t.) nuo kortelės turėtojo įprastos operacijų grupės nei k-toji artimiausia operacija, ji gali būti pažymėta.

3. Statistiniai metodai

Šie metodai dažnai daro prielaidą, kad "normalūs" duomenys atitinka konkretų statistinį pasiskirstymą (pvz., Gauso). Taškai, kurie žymiai nukrypsta nuo šio pasiskirstymo, laikomi anomalijomis.

a) Gauso mišinio modeliai (GMM)

GMM daro prielaidą, kad duomenys generuojami iš kelių Gauso pasiskirstymų mišinio. Taškai, kurių tikimybė yra maža pagal išmoktą GMM, laikomi anomalijomis.

• Kaip tai veikia: GMM pritaiko duomenims Gauso pasiskirstymų rinkinį. Tada pritaikyto modelio tikimybės tankio funkcija (PDF) naudojama kiekvienam duomenų taškui įvertinti. Taškai su labai mažomis tikimybėmis pažymimi.
• Stipriosios pusės: gali modeliuoti sudėtingus, kelių modalumų pasiskirstymus. Pateikia tikimybinį anomalijos matą.
• Silpnosios pusės: daro prielaidą, kad duomenys generuojami iš Gauso komponentų, o tai ne visada gali būti tiesa. Jautrus inicializacijai ir komponentų skaičiui.
• Pasaulinio taikymo pavyzdys: jutiklių duomenų stebėjimas iš pramoninės įrangos pasaulinėje tiekimo grandinėje. GMM gali modeliuoti tipiškus jutiklių (temperatūros, slėgio, vibracijos) veikimo parametrus. Jei jutiklio rodmuo patenka į mažos tikimybės sritį išmoktame pasiskirstyme, tai gali reikšti gedimą arba nenormalią veikimo būklę, kurią reikia ištirti, nepriklausomai nuo to, ar tai yra viršijimo, ar neviršijimo scenarijus.

b) Vienos klasės SVM (atraminių vektorių mašina)

Vienos klasės SVM skirta rasti ribą, kuri apima didžiąją dalį "normalių" duomenų taškų. Bet kuris taškas, patenkantis už šios ribos, laikomas anomalija.

• Kaip tai veikia: jis bando susieti duomenis su aukštesnės dimensijos erdve, kurioje gali rasti hiperplokštumą, kuri atskiria duomenis nuo kilmės. Sritis aplink kilmę laikoma "normalia".
• Stipriosios pusės: efektyvus didelio matavimų skaičiaus erdvėse. Gali užfiksuoti sudėtingas netiesines ribas.
• Silpnosios pusės: jautrus branduolio ir hiperparametrų pasirinkimui. Gali būti skaičiuojamai brangus labai dideliems duomenų rinkiniams.
• Pasaulinio taikymo pavyzdys: nenormalios vartotojų veiklos aptikimas debesų kompiuterijos platformoje, kurią naudoja įmonės visame pasaulyje. Vienos klasės SVM gali išmokti "normalius" išteklių (CPU, atminties, tinklo I/O) naudojimo modelius autentifikuotiems vartotojams. Bet koks naudojimas, kuris žymiai nukrypsta nuo šio išmokto profilio, gali reikšti pažeistas kredencialus arba kenkėjišką vidinę veiklą.

4. Medžiais pagrįsti metodai

Šie metodai dažnai sukuria medžių ansamblį, kad izoliuotų anomalijas. Anomalijos paprastai randamos arčiau medžių šaknų, nes jas lengviau atskirti nuo likusių duomenų.

a) Izoliavimo miškas

Izoliavimo miškas yra labai efektyvus ir veiksmingas algoritmas anomalijų aptikimui. Jis veikia atsitiktinai parinkdamas funkciją ir tada atsitiktinai parinkdamas tos funkcijos padalijimo vertę. Tikimasi, kad anomalijos, būdamos kelios ir skirtingos, bus izoliuotos atliekant mažiau veiksmų (arčiau medžio šaknies).

• Kaip tai veikia: jis sukuria "izoliavimo medžių" ansamblį. Kiekvienam medžiui duomenų taškai rekursyviai padalijami atsitiktinai parinkus funkciją ir padalijimo vertę. Kelio ilgis nuo šaknies mazgo iki galinio mazgo, kuriame baigiasi duomenų taškas, rodo "anomalijos balą". Trumpesni kelio ilgiai rodo anomalijas.
• Stipriosios pusės: labai efektyvus ir keičiamo dydžio, ypač dideliems duomenų rinkiniams. Gerai veikia didelio matavimų skaičiaus erdvėse. Reikalauja nedaug parametrų.
• Silpnosios pusės: gali kovoti su globaliomis anomalijomis, kurios nėra lokaliai izoliuotos. Gali būti jautrus nereikšmingoms funkcijoms.
• Pasaulinio taikymo pavyzdys: daiktų interneto įrenginių duomenų srautų stebėjimas visoje išmaniojo miesto infrastruktūroje Europoje. Izoliavimo miškas gali greitai apdoroti didelio tūrio, didelio greičio duomenis iš tūkstančių jutiklių. Jutiklis, pranešantis apie vertę, kuri žymiai skiriasi nuo numatomo diapazono ar modelio pagal jo tipą ir vietą, greičiausiai bus greitai izoliuotas medžiuose, sukeldamas įspėjimą dėl patikrinimo.

5. Rekonstravimu pagrįsti metodai (automatiniai kodavimo įrenginiai)

Automatiniai kodavimo įrenginiai yra neuroniniai tinklai, apmokyti rekonstruoti savo įvestį. Jie apmokyti su normaliais duomenimis. Pateikus anomalinius duomenis, jiems sunku juos tiksliai rekonstruoti, todėl atsiranda didelė rekonstravimo klaida.

a) Automatiniai kodavimo įrenginiai

Automatinį kodavimo įrenginį sudaro kodavimo įrenginys, kuris suspaudžia įvestį į žemesnės dimensijos latentinį vaizdavimą, ir dekodavimo įrenginys, kuris rekonstruoja įvestį iš šio vaizdavimo. Apmokant tik su normaliais duomenimis, automatinis kodavimo įrenginys išmoksta užfiksuoti esmines normalumo savybes. Anomalijos turės didesnes rekonstravimo klaidas.

• Kaip tai veikia: apmokykite automatinį kodavimo įrenginį su duomenų rinkiniu, kuris laikomas daugiausia normaliu. Tada, bet kuriam naujam duomenų taškui perduokite jį per automatinį kodavimo įrenginį ir apskaičiuokite rekonstravimo klaidą (pvz., vidutinę kvadratinę klaidą tarp įvesties ir išvesties). Duomenų taškai su didele rekonstravimo klaida pažymimi kaip anomalijos.
• Stipriosios pusės: gali išmokti sudėtingus, netiesinius normalių duomenų vaizdavimus. Efektyvus didelio matavimų skaičiaus erdvėse ir subtilių anomalijų aptikimui.
• Silpnosios pusės: reikia atidžiai sureguliuoti tinklo architektūrą ir hiperparametrus. Gali būti skaičiuojamai intensyvus mokymui. Gali per daug pritaikyti triukšmingus normalius duomenis.
• Pasaulinio taikymo pavyzdys: neįprastų modelių aptikimas palydoviniuose vaizduose aplinkos monitoringui visuose žemynuose. Automatinis kodavimo įrenginys, apmokytas su normaliais miško dangos palydoviniais vaizdais, pavyzdžiui, greičiausiai sukurtų didelę rekonstravimo klaidą vaizdams, rodantiems netikėtą miškų naikinimą, neteisėtą kasybos veiklą ar neįprastus žemės ūkio pokyčius atokiose Pietų Amerikos ar Afrikos srityse.

Tinkamo algoritmo pasirinkimas pasauliniams taikymams

Neprižiūrimo anomalijų aptikimo algoritmo pasirinkimas labai priklauso nuo kelių veiksnių:

• Duomenų pobūdis: ar tai laiko eilutės, lentelės, vaizdai, tekstas? Ar jis turi esamą struktūrą (pvz., klasterius)?
• Matavimų skaičius: didelio matavimų skaičiaus duomenys gali būti palankūs tokiems metodams kaip izoliavimo miškas arba automatiniai kodavimo įrenginiai.
• Duomenų rinkinio dydis: kai kurie algoritmai yra skaičiuojamai brangesni nei kiti.
• Anomalijų tipas: ar ieškote taškinių anomalijų, kontekstinių anomalijų ar kolektyvinių anomalijų?
• Interpretavimas: kiek svarbu suprasti, *kodėl* taškas pažymimas kaip anomalija?
• Našumo reikalavimai: realaus laiko aptikimui reikia labai efektyvių algoritmų.
• Išteklių prieinamumas: skaičiavimo galia, atmintis ir patirtis.

Dirbant su pasauliniais duomenų rinkiniais, apsvarstykite šiuos papildomus aspektus:

• Duomenų heterogeniškumas: duomenys iš skirtingų regionų gali turėti skirtingas charakteristikas arba matavimo skales. Išankstinis apdorojimas ir normalizavimas yra labai svarbūs.
• Kultūriniai niuansai: nors anomalijų aptikimas yra objektyvus, tai, kas sudaro "normalų" ar "nenormalų" modelį, interpretavimas kartais gali turėti subtilių kultūrinių įtakų, nors tai rečiau pasitaiko techniniame anomalijų aptikime.
• Reguliavimo atitiktis: priklausomai nuo pramonės ir regiono, gali būti konkrečių taisyklių, susijusių su duomenų tvarkymu ir anomalijų pranešimu (pvz., GDPR Europoje, CCPA Kalifornijoje).

Praktiniai aspektai ir geriausia praktika

Efektyvus neprižiūrimo anomalijų aptikimo įgyvendinimas reikalauja daugiau nei tik algoritmo pasirinkimo. Štai keletas pagrindinių aspektų:

1. Duomenų išankstinis apdorojimas yra svarbiausias

• Mastelio keitimas ir normalizavimas: užtikrinkite, kad funkcijos būtų palyginamose skalėse. Tokie metodai kaip Min-Max mastelio keitimas arba standartizavimas yra būtini, ypač atstumu ir tankumu pagrįstiems algoritmams.
• Trūkstamų reikšmių tvarkymas: nuspręskite dėl strategijos (įterpimo, pašalinimo), kuri tinka jūsų duomenims ir algoritmui.
• Funkcijų inžinerija: kartais naujų funkcijų kūrimas gali padėti pabrėžti anomalijas. Laiko eilutės duomenims tai gali apimti uždelstas reikšmes arba slenkančias statistikas.

2. "Normalių" duomenų supratimas

Neprižiūrimų metodų sėkmė priklauso nuo prielaidos, kad didžioji dalis jūsų mokymo duomenų atspindi normalų elgesį. Jei jūsų mokymo duomenyse yra daug anomalijų, algoritmas gali išmokti jas kaip normalias, sumažindamas jo efektyvumą. Duomenų valymas ir kruopštus mokymo pavyzdžių pasirinkimas yra labai svarbūs.

3. Ribos pasirinkimas

Dauguma neprižiūrimų anomalijų aptikimo algoritmų pateikia anomalijos balą. Nustatyti tinkamą ribą, kad taškas būtų klasifikuojamas kaip anomalija, yra labai svarbu. Tai dažnai apima kompromisą tarp klaidingų teigiamų (normalių taškų pažymėjimas kaip anomalijos) ir klaidingų neigiamų (trūkstamų tikrų anomalijų). Metodai apima:

• Procentiliu pagrįstas: pasirinkite ribą taip, kad būtų pažymėtas tam tikras taškų procentas (pvz., viršutinis 1%).
• Vizualinis patikrinimas: anomalijos balų pasiskirstymo braižymas ir vizualiai identifikuojamas natūralus atskyrimas.
• Srities patirtis: konsultavimasis su srities ekspertais, siekiant nustatyti prasmingą ribą, pagrįstą priimtina rizika.

4. Vertinimo iššūkiai

Įvertinti neprižiūrimus anomalijų aptikimo modelius gali būti sudėtinga, nes pagrindinė tiesa (pažymėtos anomalijos) dažnai yra neprieinama. Kai ji yra prieinama:

• Metrikos: dažnai naudojami tikslumas, atgaminamumas, F1 balas, ROC AUC, PR AUC. Atminkite, kad klasių disbalansas (nedaug anomalijų) gali iškreipti rezultatus.
• Kokybinis įvertinimas: pažymėtų anomalijų pateikimas srities ekspertams patvirtinti dažnai yra praktiškiausias būdas.

5. Ansamblio metodai

Kelių anomalijų aptikimo algoritmų sujungimas dažnai gali lemti patikimesnius ir tikslesnius rezultatus. Skirtingi algoritmai gali užfiksuoti skirtingus anomalijų tipus. Ansamblis gali pasinaudoti kiekvieno stipriosiomis pusėmis, sumažindamas individualius trūkumus.

6. Nuolatinis stebėjimas ir pritaikymas

Sąvoka "normalu" gali keistis laikui bėgant (konceptinis dreifas). Todėl anomalijų aptikimo sistemos turėtų būti nuolat stebimos. Periodinis modelių perkvalifikavimas su atnaujintais duomenimis arba adaptacinių anomalijų aptikimo metodų taikymas dažnai yra būtinas norint išlaikyti jų efektyvumą.

Išvada

Neprižiūrimas anomalijų aptikimas yra nepakeičiamas įrankis mūsų duomenimis pagrįstame pasaulyje. Išmokdami pagrindinę normalių duomenų struktūrą, šie algoritmai suteikia mums galimybę atskleisti paslėptus modelius, aptikti kritinius nukrypimus ir gauti vertingų įžvalgų be didelio pažymėtų duomenų poreikio. Nuo finansinių sistemų apsaugos ir tinklų saugumo iki pramoninių procesų optimizavimo ir sveikatos priežiūros gerinimo, programos yra didžiulės ir nuolat plečiasi.

Pradėdami savo kelionę su neprižiūrimu anomalijų aptikimu, atminkite kruopštaus duomenų paruošimo, atidaus algoritmo pasirinkimo, strateginio ribų nustatymo ir nuolatinio vertinimo svarbą. Įvaldę šiuos metodus, galite atskleisti nežinomybę, nustatyti kritinius įvykius ir pasiekti geresnių rezultatų visose savo pasaulinėse pastangose. Gebėjimas atskirti signalą nuo triukšmo, normalų nuo anomalinio, yra galingas diferencijuotojas šiuolaikiniame sudėtingame ir tarpusavyje susijusiame kraštovaizdyje.

Pagrindiniai dalykai:

• Neprižiūrimas anomalijų aptikimas yra labai svarbus, kai pažymėtų anomalijų duomenų yra mažai.
• Tokie algoritmai kaip LOF, DBSCAN, izoliavimo miškas, GMM, vienos klasės SVM ir automatiniai kodavimo įrenginiai siūlo įvairius metodus nukrypimams nustatyti.
• Duomenų išankstinis apdorojimas, tinkamas ribų pasirinkimas ir ekspertų patvirtinimas yra gyvybiškai svarbūs praktinei sėkmei.
• Nuolatinis stebėjimas ir pritaikymas yra būtini norint kovoti su konceptiniu dreifu.
• Pasaulinė perspektyva užtikrina, kad algoritmai ir jų programos būtų atsparūs regioniniams duomenų skirtumams ir reikalavimams.

Raginame jus eksperimentuoti su šiais algoritmais savo duomenų rinkiniuose ir tyrinėti žavingą paslėptų nuokrypių, kurie yra svarbiausi, atskleidimo pasaulį.